
Q
P KL(QP )
Q Q
KL(QP )
L(Q) =
h
(1)
,h
(2)
Q(h
(1)
, h
(2)
| v) log
P (v, h
(1)
, h
(2)
; θ)
q(h
(1)
, h
(2)
| v)
= −
h
(1)
,h
(2)
Q(h
(1)
, h
(2)
| v)E(v, h
(1)
, h
(2)
; θ) −log Z(θ) + H(Q),
Z(θ) H(Q)
Q(h
(1)
, h
(2)
| v)
Q(h
(1)
, h
(2)
| v)
L(q) =
i
j
v
i
W
(1)
ij
ˆ
h
(1)
j
+
j
k
ˆ
h
(1)
j
W
(2)
j
k
ˆ
h
(2)
k
− ln Z(θ) + H(q).
∂
∂
ˆ
h
(1)
j
L(q) = 0 ∀j ∈ {1, . . . , n},
∂
∂
ˆ
h
(2)
k
L(q) = 0 ∀k ∈ {1, . . . , m}
ˆ
h
(1)
j